DeepSeek 技术报告发展脉络综述：从 V1 到 V4 的三年进阶之路

摘要：从 2023 年底到 2026 年，DeepSeek（深度求索）用三年时间完成了从无人问津到全球瞩目的蜕变。本文系统梳理 DeepSeek 发布的五份核心技术报告（V1、V2、V3、R1、V4），解读其技术演进脉络、架构创新主线和工程哲学，揭示这家中国 AI 公司如何用极低成本改写大模型竞争规则。

一、全景图：三年五次迭代

DeepSeek 的版本演进可以用一句话概括：从 Dense 到 MoE，从 SFT 到 RL，从语言模型到推理引擎，从通用 AI 到 Agent。

每一次迭代都不是简单的"参数量翻倍"，而是架构层面的创新。

二、V1（2023.11）：低调的开局

2.1 基本信息

• 发布时间：2023 年 11 月
• 参数量：67B（Dense 架构）
• 训练数据：2 万亿 tokens
• 开源协议：MIT（完全开源，可商用）

2.2 技术特点

DeepSeek V1 是一个标准的 Dense Transformer 模型，采用：

• 标准的 Multi-Head Attention（MHA）
• 预训练 + SFT + DPO 三阶段训练
• 与 LLaMA 系列类似的架构设计

2.3 历史意义

V1 发布时并未引起行业关注，但有两个重要信号：

1. 完全开源：MIT 协议，不限制商用，无需申请
2. 工程导向：梁文锋表示"不贴钱，也不赚取暴利"

三、V2（2024.05）：一场价格战的导火索

3.1 基本信息

• 发布时间：2024 年 5 月
• 总参数：236B
• 激活参数：21B（约 9%）
• 架构：MoE（Mixture of Experts）

3.2 核心创新一：MLA（Multi-head Latent Attention）

MLA 是 DeepSeek 最重要的架构创新之一：

原理：

• 对注意力键（Key）和值（Value）进行低秩联合压缩
• 减少推理时的 KV Cache 占用
• 相比标准 MHA，内存占用降低约 93%

公式：

KV Cache_MLA = (d_k + d_v) × r × h
其中 r << d_k, d_v（低秩压缩）

效果：

• 推理成本大幅降低
• 支持更长上下文窗口
• 为后续 MoE 架构奠定基础

3.3 核心创新二：DeepSeekMoE

架构设计：

• 每个 MoE 层包含 1 个共享专家 + 256 个路由专家
• 每个 Token 激活 8 个路由专家
• 细粒度的专家分配策略

优势：

• 计算资源利用率高
• 推理速度提升 3 倍
• 训练成本显著降低

3.4 行业影响

V2 发布后，整个行业开启价格战：

• API 定价大幅下调
• 推理成本降低 93%
• 迫使竞争对手跟进 MoE 架构

四、V3（2024.12）：开源模型的巅峰

4.1 基本信息

• 发布时间：2024 年 12 月 27 日
• 总参数：671B
• 激活参数：37B（约 5.5%）
• MoE 层数：58 层
• 专家总数：14,906 个
• 训练成本：约 557.6 万美元（278.8 万 H800 GPU 小时）

4.2 核心创新

4.2.1 FP8 混合精度训练

DeepSeek V3 是首个大规模使用 FP8 训练的大模型：

• 前向传播使用 FP8
• 反向传播使用 FP32
• 精度损失可控，训练速度提升 2 倍

4.2.2 无辅助损失的负载均衡

传统 MoE 需要辅助损失来平衡专家负载，V3 提出：

• 动态路由策略
• 无需额外的辅助损失函数
• 训练更稳定，收敛更快

4.2.3 Multi-Token Prediction（MTP）

原理：

• 同时预测多个未来 Token
• 增加训练信号密度
• 提升推理效率

效果：

• 训练效率提升约 15%
• 推理速度进一步提升

4.3 性能表现

关键数据：

• 生成速度：60 tokens/秒（V2.5 的 3 倍）
• API 定价：输入 0.5-2 元/百万 tokens，输出 8 元/百万 tokens
• Hugging Face 下载量：突破 150 万次

五、R1（2025.01）：让模型"学会思考"

5.1 背景

2025 年 1 月 20 日，DeepSeek 发布 R1 模型，性能对标 OpenAI o1 正式版。

核心突破：

• 纯强化学习训练（无需 SFT 冷启动）
• 模型学会"深度思考"模式
• 推理能力达到人类专家水平

5.2 GRPO：无需价值模型的强化学习

传统 PPO 的问题：

• 需要训练价值模型（Critic）
• 内存占用翻倍
• 训练不稳定

GRPO 的创新：

• Group Relative Policy Optimization
• 使用组内相对奖励代替绝对价值估计
• 无需单独的价值模型

公式：

Advantage_i = (R_i - mean(R_group)) / std(R_group)

5.3 训练流程

阶段 1：冷启动数据
  ↓
阶段 2：强化学习（GRPO）
  ↓
阶段 3：SFT 微调（可选）
  ↓
阶段 4：RLHF 对齐

5.4 涌现的推理行为

R1 训练过程中涌现出多种推理行为：

• 自我反思：模型会检查自己的答案
• 策略调整：发现错误后重新思考
• 分步验证：逐步验证推理过程

5.5 性能表现

关键特点：

• 推理时显示"思考过程"
• 可调节思考深度
• 开源权重（MIT 协议）

六、V4（2026.04）：Agent 时代的新旗舰

6.1 基本信息

• 发布时间：2026 年 4 月 24 日（预览版）
• 总参数：1.6T（1600B）
• 激活参数：约 100B
• 上下文窗口：1M tokens（百万级）
• 架构：MoE + 三大创新

6.2 核心创新

6.2.1 三大架构创新

1. 优化残差连接（mHC）

   • 受生物学启发的记忆模块
   • 提升长上下文理解能力
   • 减少梯度消失问题

2. Engram 记忆模块

   • 模拟人类海马体记忆机制
   • 支持长期记忆存储
   • 提升多轮对话连贯性

3. 动态专家路由

   • 根据输入动态调整专家激活策略
   • 提升计算效率
   • 支持更复杂的推理任务

6.2.2 API 定价

• 输入：0.3 元/百万 tokens（缓存命中）
• 输出：6 元/百万 tokens
• 支持 1M 上下文窗口

6.3 性能表现

关键提升：

• 代码能力：HumanEval 从 89% 提升到 94.2%
• 数学推理：MATH-500 从 82.8% 提升到 98.5%
• Agent 能力：SWE-Bench 从 28.3% 提升到 45.8%

七、成本革命：DeepSeek 的工程哲学

7.1 训练成本对比

成本优势：

• V3 训练成本仅为 GPT-4 的 5.6%
• V4 训练成本仅为 GPT-4 的 20%
• 推理成本低 10-50 倍

7.2 工程哲学

梁文锋的核心原则：

1. 不贴钱，也不赚取暴利
2. 完全开源，推动行业发展
3. 追求 AGI，而非短期商业利益

八、技术演进总结：一条清晰的主线

8.1 架构演进

V1 (Dense) → V2 (MoE) → V3 (MoE+FP8) → V4 (MoE+ 三大创新)
         ↓
        R1 (纯 RL 推理)

8.2 训练范式演进

SFT + DPO → GRPO → 纯 RL → RLHF

8.3 一个公式总结

DeepSeek 的成功可以概括为：

极致性能 = 架构创新 × 工程优化 × 开源生态

九、DeepSeek 的启示

9.1 对行业的启示

1. MoE 是未来：所有主流模型都在转向 MoE 架构
2. 开源有力量：MIT 协议推动生态繁荣
3. 成本是关键：低成本训练和推理是商业化基础

9.2 对开发者的启示

1. 关注架构创新：MLA、MoE、GRPO 值得深入学习
2. 善用开源模型：DeepSeek 系列可商用，无需授权
3. 重视工程优化：FP8、MTP 等技巧可复用到其他项目

十、未来展望

DeepSeek 的技术演进路线清晰：

• 短期：V4 正式版发布，完善 Agent 能力
• 中期：多模态能力增强（视觉、音频）
• 长期：追求 AGI，实现通用人工智能

融资与 IPO：

• 2026 年 6 月完成首轮融资 70 亿美元
• 估值约 500 亿美元
• 筹备 IPO，目标估值 4800 亿元

参考资料

1. DeepSeek V1 技术报告（2023.11）
2. DeepSeek V2 技术报告（2024.05）
3. DeepSeek V3 技术报告（2024.12）
4. DeepSeek R1 技术报告（2025.01）
5. DeepSeek V4 技术报告（2026.04）
6. DeepSeek API 文档：https://api-docs.deepseek.com/

本文基于 DeepSeek 官方技术报告和公开资料整理，旨在梳理技术发展脉络，供学习和参考。